#!/bin/bash

#
# @date:2021-10-10
# @author:deep as the sea 
# @orgnization:doitedu
# @desc: geohash编码地理位置维表构建脚本
# 注意：本操作步骤，只在一开始的时候做一次！！！
# 并且，就算以后要重跑数据，都不需要重跑本任务！！！
#


export HIVE_HOME=/opt/apps/hive-3.1.2
export SPARK_HOME=/opt/apps/spark-3.1.1-bin-hadoop2.7/
export JAVA_HOME=/opt/apps/jdk1.8.0_191/
export HADOOP_HOME=/opt/apps/hadoop-3.1.1/

dt=$(date -d'-1 day' +%Y-%m-%d)

if [ $1 ];then
echo "运行脚本，传入了指定的日期，将导指定日期的数据"
dt=$1
fi

dt_pre=$(date -d"${dt} -1day" +%Y-%m-%d)


${SPARK_HOME}/bin/spark-submit \
--master yarn \
--deploy-mode cluster \
--class cn.doitedu.dw_etl.ReferenceGpsDict  \
--name gps参考点geohash编码维表构建  \
--conf spark.sql.shuffle.partitions=1  \
--files ${HIVE_HOME}/conf/hive-site.xml  \
--driver-memory 2G  \
--driver-cores 1   \
--executor-memory 2G  \
--executor-cores 1 \
--num-executors 3 \
--verbose  \
--queue default  \
/root/dw_etl.jar root ABC123.abc123 jdbc:mysql://doit01:3306/realtimedw t_md_areas

# --jars /opt/apps/hive-3.1.2/lib/mysql-connector-java-5.1.47-bin.jar \
# --driver-class-path /opt/apps/hive-2.1.2/lib/mysql-connector-java-5.1.47-bin.jar  \
# --files ${HIVE_HOME}/conf/hive-site.xml \



if [ $? -eq 0 ];then
  echo "任务成功：地理位置geohash编码维表构建成功"
  echo "目标表分区：dim.geo_area"
  echo "任务成功：任务成功：地理位置geohash编码维表构建成功；目标表分区：dim.geo_area  " | mail -s '多易集团,商城业务数据部，HIVE任务成功通知' 83544844@qq.com
  exit 0
else
  echo "任务失败：任务成功：地理位置geohash编码维表构建失败"
  echo "目标表分区：dim.geo_area"
  echo "任务失败：任务成功：地理位置geohash编码维表构建失败；目标表分区：dim.geo_area  " | mail -s '多易集团,商城业务数据部，HIVE任务失败通知' 83544844@qq.com
  exit 0
fi  





